Франц Ксавьер Винтерхальтер родился 20 апреля 1805 года в Шварцвальде в маленькой деревушке Менценшванд. Он был шестым ребенком в семье. Его отец был фермером и смолокуром, мать происходила из старинного рода Менценшванд. Семья всегда очень много значила для Винтерхальтера.
Автопортрет с братом Германом